Scratch V2 Programming
https://scrapbox.io/files/656c3b05389a250024eec563.svg
Visual IoTLTでの発表動画
むとうの発表動画です (30:15-)。
https://www.youtube.com/live/CCXjeazNr_M?si=tL0ptREICcO-Jz5e&t=1815 (30:15-)
発表者:610t
むとうたけし(武藤武士)
53歳
専業主婦
奈良在住
詳しくは、末尾へ
はじめに
そも、V2ってなに?
Visual Programming: 皆様御存知の通り
Voice I/O: あえてAudioではなくVoice
ScratchにはVoiceをあつかえるブロックや拡張機能があります!!
Voiceで楽しいガジェットがあります!!
と言うわけで、ScratchでVoice I/Oを使ってみます
Scratch
https://gyazo.com/890a51bf05134da3cdb31d10ac288b1f
ブロックベースのVisual Programming環境
教育/プログラミング学習用?
全ての年齢の子どもたちに!!
低い床: はじめやすく
高い天井: 高度なこともでき
広い壁: いろいろなものを作れる
変態言語?
並列実行
イベントベース
オブジェクトベース
スプライト
クローン
Node.jsで記述
オレオレサーバーが作成可能
拡張機能で新たな機能を追加
オレオレサーバーの例
参考
Scratch拡張機能とVoice
公式拡張機能
https://scrapbox.io/files/65a8938d149f9d002339c2df.svg
Voiceを操作できる公式拡張機能
音声合成(赤枠):テキストを音声合成
あわせ技でこれも使いたい!!
翻訳: テキストの各国語間翻訳(緑枠)
音楽: 楽器の演奏(青枠)
音カテゴリ: スプライトに応じた音を出す
Stretch3拡張機能
https://scrapbox.io/files/65a8b0a60bac3e00251cbc88.svg
Speech2Scratch: 音声をテキストに(赤枠)
TM2Scratch: 自分で学習した音声を認識、カテゴライズ(薄紫枠)
あわせ技でこれも使いたい!!
ChatGPT2Scratch: ChatGPTでAI(紫枠)
ImageClassifier2Scratch: 物体認識(緑枠)
Facemesh2Scratch/Handpose2Scratch/Posenet2Scratchなど:位置認識(青枠)
ScratchでVoiceを使う
https://scrapbox.io/files/65af612d7768410023e48986.svg
Voice Input
Speech2Scratchで音声認識してテキストを得る
テキスト処理
翻訳
ChatGPT
Voice Output
Bluetoothスピーカーを活用
Scratchでなんらかの音を出すと、スピーカーにアクション可能
音声合成拡張機能
音カテゴリブロック
音楽拡張機能
音で使えるハードウエア
ｽﾀｯｸﾁｬﾝ(M5Stack): リップシンク
hapStak: 振動フィードバック
ｽﾀｯｸﾁｬﾝBLEスピーカー版
https://scrapbox.io/files/65a869bdc249280024fc7eb5.svg
ｽﾀｯｸﾁｬﾝは、ししかわさんが開発公開している手乗りサイズのｽｰﾊﾟｰｶﾜｲｲコミュニケーションロボット
Bluetoothスピーカー版がM5Burnerで提供
音を出すと、リップシンクで表情が変化
→ ｽﾀｯｸﾁｬﾝがしゃべる!!
https://youtu.be/_EOZL21HuYg
コード例
しゃべった言葉を翻訳してしゃべる(デモ)
https://gyazo.com/0d55d9a97b755977dc00465b6e985a66
しゃべった言葉の返答をChatGPTで
https://gyazo.com/b16da6229d5e03bd15697d594a137ab0
参考
hapStak:振動体感デバイス
https://gyazo.com/69bae0be0bcbfffca55df193f4002fb4
ハードウエアの組み合わせ
M5Stack ATOM Echo: Bluetoothスピーカー (初期ファームウエア) → Bluetoothスピーカー経由で音を出せば、hapStakが振動
https://youtu.be/KDa46WqKtyk
参考
Voiceのこれから
Voiceで楽しいデバイスを見つける
https://gyazo.com/457437acaabac7b4e9674ff6c3306d79
Scratch独自拡張機能でVoiceを使う
おわりに
ScratchでVisual ProgrammingとVoiceで遊ぶと、とっても楽しい!!
音声認識でVoiceをテキスト化する
テキストに色々な処理をしてテキストを作る
テキストから音声合成でVoice化する
Voiceで遊べるデバイスは楽しい!!
ｽﾀｯｸﾁｬﾝ(M5Stack)
hapStak
小声「音出せりゃScratchじゃなくてもいいな…」
みんなも遊んでみませんか?
V2を讃えよ!!
発表者:I'm 610t!!
https://gyazo.com/025475c0f22d9a83b95db8f6f92a2e5d
全部の情報: 610t (無糖Teaと読むと良いかも) むとうたけし(武藤武士)
専業主夫(53歳)＠奈良
所属コミュニティ
アカウント一覧